\subsubsection{TACO}

\begin{itemize}
\item \citet{zhao2024sal} 提出了 SAL 架构，优化了轻量级网络的硬件利用率。
\item \citet{qararyah2024efficient} 提出了混合 CNN 加速器 FiBHA，优化了紧凑异构 CNN 的加速效果。
\item \citet{lee2024resa} 提出了 ReSA 架构，优化了微型 DNN 张量数据流，加快了推理速度。
\item \citet{yu2023multiply} 提出了 MnF 加速器，引入了事件驱动的数据流，优化了稀疏 DNN 推理的性能，降低了功耗。
\item \citet{giordano2024tinyforge} 提出了 TinyForge 框架，优化了数据流和硬件设计，显著降低了每次推理的能量和硅面积。
\item \citet{jiang2022high} 实现了全数据流 MobileNet V2 加速器，提高了量化算法的量化精度。
\end{itemize}


论文详细分析如下：

\begin{itemize}
\item \textbf{论文标题}：SAL: Optimizing the Dataflow of Spin-based Architectures for Lightweight Neural Networks
\item \textbf{研究问题}：深度可分离卷积（DSC）将标准卷积分解为深度卷积（DWC）和逐点卷积（PWC），以减少参数进行加法和乘法数量，在降低网络规模的同时保持网络的性能。目前，DSC 这种特殊结构在基于自旋架构的硬件平台上部署时存在如下新的挑战：如何优化数据流以减少数据移动；如何实现网络加速；如何克服传统 Von Neumann 架构中的内存墙问题。
\item \textbf{方法与技术}：基于 NEBULA 架构提出了新的轻量网络自旋架构（Spin-based Archtecture for Lightweight Networks, SAL）。通过其提出的新的伪输入静止数据流，减少了数据移动，提升了硬件利用率。
\item \textbf{主要贡献}：提出了新的 SAL 架构，并在此架构上成功地部署了 MobileNet V1。由于降低了数据移动开销，MobileNet V1 的能耗降低了 4.1 倍，性能获得了 7.3 倍的提升。
\item \textbf{不足与未来方向}：SAL 通过新的数据流设计和流水线优化，显著提升了轻量级网络的硬件利用率。SAL 主要针对 MobileNet 这样的轻量级网络设计，对于其他不同架构的网络，相应的优化方案有待挖掘。
\end{itemize}

\begin{itemize}
\item \textbf{论文标题}：An Efficient Hybrid Deep Learning Accelerator for Compact and Heterogeneous CNNs
\item \textbf{研究问题}：传统的通用 CNN 加速器无法有效处理紧凑且异构的 CNN，专用 CNN 加速器虽然效果较好，但在可扩展性、资源开销方面存在问题。
\item \textbf{方法与技术}：提出了一种混合 CNN 加速器 FiBHA，结合了单引擎单层（single-engine-single-layer, SESL）和单引擎多层single-engine-multiple-layer, SEML）两种设计以捕获 CNN 中的异构性，并通过融合倒残差瓶颈（FIRB）提升 SESL 加速器的内存占用和能耗，通过 SplitCNN 启发式算法进行资源分配，最大化吞吐量。
\item \textbf{主要贡献}：FiBHA 成功地在资源效率和处理异构 CNN 的吞吐量之间取得了平衡，这对于资源受限的环境非常有用。通过 FIRA 模块和 SplitCNN 启发式算法，FiBHA 在多个 FPGA 平台上展示了其性能优势。
\item \textbf{不足与未来方向}：文中提出的 FiBHA 是针对紧凑型 CNN 设计的，尚未考虑一般 CNN 的情形。研究者计划扩展成本模型和启发式算法，设计多目标优化以解决性能、内存需求和能效之间的权衡，并计划将目标模型从紧凑型 CNN 扩展到一般型 CNN。
\end{itemize}

\begin{itemize}
\item \textbf{论文标题}ReSA: Reconfigurable Systolic Array for Multiple Tiny DNN Tensors
\item \textbf{研究问题}：脉动架构广泛应用于 DNN 数据流优化以加速推理速度，但脉动阵列在处理微型张量时存在碎片化问题，导致效率下降。
\item \textbf{方法与技术}：在空间分割的脉动阵列上映射微小张量能够减少 DNN 模型的推理时间，具体而言是将脉动阵列空间分割为多个子阵列，将 DNN 每层的张量分割为不同的大小以适应该阵列，从而能够适应粒度不同的数据，进而实现性能提升。
\item \textbf{主要贡献}：文中提出的 ReSA（Reconfigurable Systolic Array for Multiple Tiny DNN Tensors）对脉动阵列进行子阵列划分，子阵列具有独立的数据路径控制器，能够实现更细粒度的数据路由，进而实现了对不规则张量的数据流优化，提升了 DNN 的推理效率。采用不同领域 DNN 模型作为工作负载对 ReSA 的加速效果进行评估，结果显示该阵列对包含大量微型 DNN 核心的模型能够实现出色的加速效果，以 MobileNet 为例，在 ReSA 上实现了 5.35x 的加速比。
\item \textbf{不足与未来方向}：ReSA 通过子阵列划分的方式优化数据流以加快推理，这种方法可能会增大芯片布线的复杂程度，增加系统功耗。因此，如何将这种新的架构广泛地应用到实际场景仍然有待进一步研究。
\end{itemize}

\begin{itemize}
\item \textbf{论文标题}：Multiply-and-Fire: An Event-Driven Sparse Neural Network Accelerator
\item \textbf{研究问题}：剪枝技术常用于减少 DNN 的工作负载，在尽可能保持模型准确性的前提下实现推理加速，这一技术对于边缘计算等资源稀缺的场合非常重要。神经网络中的神经元在激活时总体上是稀疏的，因此研究如何对稀疏神经网络进行合理的剪枝是提升推理加速的关键。
\item \textbf{方法与技术}：现有的加速器在处理非结构化剪枝时开销很大，这主要是其忽略了神经元激活时存在的稀疏性，以及对这种稀疏性的处理方案不够合理所导致的。通过一种新颖的事件驱动数据流和硬件架构，能够实现对激活稀疏性的高效处理，进而避免了不必要的零值乘法，显著提高了激活数据的重用率，从而降低了总体能耗
\item \textbf{主要贡献}：实现了 MnF 加速器，引入了事件驱动的数据流，为其设计了相应的硬件架构，在处理稀疏 DNN 推理时既提高了性能，又降低了能耗。
\item \textbf{不足与未来方向}：当前硬件设计对不同 DNN 核大小的支持有限，未来工作可以考虑支持多种核大小以优化性能和能效。
\end{itemize}

\subsubsection{ASPLOS}

\begin{itemize}
\item \textbf{论文标题}：TinyForge: A Design Space Exploration to Advance Energy and Silicon Area Trade-offs in tinyML Compute Architectures with Custom Latch Arrays
\item \textbf{研究问题}：现有的 TinyML 计算架构主要针对大型模型和云上应用，没有考虑一些较为特殊的需求，如模型尺寸限制和全网络权重的片上存储。现有的设计空间探索框架通常优化传统架构和内存层次结构，没有探索将所有权重存储在计算元素旁边的寄存器文件中的影响。现有的框架在评价模型功耗时依赖于一些不够准确的功率分析模型。
\item \textbf{方法与技术}：在 TinyForge 中，通过引入定制化锁存阵列（Customized Latch Array, CLA），与计算存储结构集成后实现了低能量开销的高密度读取。TinyForge 设计包括了内存层次结构、能耗、面积和延迟特性、工作负载映射、多目标优化。通过多目标优化，TinyForge 可在不同的工作负载上找到 Pareto 最优架构，为边缘计算设备提供可行的深度学习推理方案。
\item \textbf{主要贡献}：本文提出了 TinyForge 框架，通过定制的锁存器阵列以多目标优化的方法为 TinyML 计算架构提供能耗和硅面积之间的权衡方案。
\item \textbf{不足与未来方向}：TinyForge 定制化锁存器阵列优化了数据流和硬件设计，显著降低了每次推理的能量和硅面积，为 TinyML 计算架构设计提供了新的视角。TinyForge 通过多目标优化的方法在不同工作负载上找到 Pareto 最优架构，通过架构优化，其性能虽与通用架构相当，但推理时需要更多的硅面积，因此需要进一步深入研究。
\end{itemize}

\subsubsection{TCAD}

\begin{itemize}
\item \citet{sun2023efficient} 将 CIM 设计范式引入了 DNN 推理硬件平台，填补了加速器级别优化的空白。
\end{itemize}

\begin{itemize}
\item \textbf{论文标题}：Efficient Processing of MLPerf Mobile Workloads Using Digital Compute-In-Memory Macros
\item \textbf{研究问题}：内存中计算（compute-in-memory, CIM）是一种新的设计范式，通过将运算部件嵌入到内存中能够减少数据移动的能耗，帮助加速 DNN 处理。目前的研究主要集中于单个 CIM 宏的性能上，缺乏从加速器层面考虑其效率问题。CIM 宏设计中，平衡数据流优化、CIM 宏尺寸选择、组合 CIM 宏以适应 DNN 工作负载是从加速器级别提高效率的关键问题。
\item \textbf{方法与技术}：文中提出了一种新的数字计算内存宏（Digital CIM Macro），通过读写线驱动器（RWLDrv）模块产生信号，由或与非（OAI）单元进行乘法累加操作（mulyiply-and-accumulate operation, MAC），进而在内存中实现 DNN 推理以加速计算。
\item \textbf{主要贡献}：将 CIM 的设计范式引入了 DNN 推理平台上，提高加速器级别的效率，填补了加速器级别优化的空白。在 MLPerf 移动推理负载上的宏利用率提升为原来的 3.04 倍，能耗-时延积降低到原来的 0.34 倍。本文说明了 CIM 宏在加速器设计中有望发挥重要作用，本文是对加速器优化的一次全新的尝试。
\item \textbf{不足与未来方向}：本文是将 CIM 引入 DNN 加速器设计的一次尝试，但 CIM 的引入不可避免地会增大电路本身的能耗，在实际场景下若取得的加速效果不足以弥补 CIM 带来的额外能耗，则 CIM 的引入会显得没有太大意义。因此，平衡 CIM 所带来的开销和加速效果会是一个可能的改进思路。
\end{itemize}

\begin{itemize}
\item \textbf{论文标题}：A High-Throughput Full-Dataflow MobileNetv2 Accelerator on Edge FPGA
\item \textbf{研究问题}：在边缘计算应用中，轻量级神经网络如 MobileNet V2 的 FPGA 加速器需求迫切，但现有加速器仅实现了部分数据流架构，导致特征图传输效率不高。如何实现全数据流架构的 MobileNet V2 加速器，以提高数据传输效率和整体性能，是本研究的核心问题。
\item \textbf{方法与技术}：全数据流 MobileNet V2 加速器通过优化量化算法和加速器设计，提升了数据的吞吐量和推理精度。量化算法基于全整数量化方法进行改进，包括硬件舍入和缩放因子对齐，以减少量化过程中的精度损失。提出了可调激活权重不平衡传输（TAWIT）方法，通过优化权重和激活的量化噪声，进一步提高了量化精度。设计的加速器组件可以灵活调整并行度，并使用更深层次的 FIFO 实现残差连接，以满足全数据流架构的要求。
\item \textbf{主要贡献}：本研究提出的全数据流 MobileNet V2 加速器在 Xilinx ZCU 102 板上实现了 1910 FPS 和 72.98\% 的 Top-1 ImageNet 准确率。通过优化量化算法和加速器设计，实现了高吞吐量和高精度。
\item \textbf{不足与未来方向}：文中设计的加速器在不同的设备上运行，考虑到不同硬件设备的差异，文中并未对硬件功耗进行比较。此外，文中提到加速器消耗了大约 50\% 的可用 DSP 资源、75\%的 BRAM 资源和60\%的 LUT 资源，较高的资源利用率可能限制实际应用场景下其他功能在硬件设备上的部署。文中提到，未来的研究将探索如何使用提出的量化噪声模型和 TAWIT 方法，为每个层找到最合适的位宽和参数。
\end{itemize}

\subsubsection{MICRO}

\begin{itemize}
\item \citet{chen2024bbs} 提出了双向比特级别稀疏性概念，并使用这一概念进行二值剪枝实现模型压缩。
\end{itemize}

\begin{itemize}
\item \textbf{论文标题}：BBS: Bi-directional Bit-level Sparsity for Deep Learning Acceleration
\item \textbf{研究问题}：DNN 网络中神经元激活存在稀疏的特点，但目前处理这种稀疏性的方法实用性不足，主要表现在零比特的随机分布导致的工作负载不平衡、外部内存访问未优化以及硬件实现开销大这些方面。目前基于值的稀疏性方法受限于模型架构，无法充分提升硬件性能，而无需重新训练的量化后稀疏方法稀疏性水平则较低，限制性能提升。
\item \textbf{方法与技术}：文中提出了一种新的双向比特级别稀疏性（bi-directional bit-level sparsity, BBS）概念，在比特级别探索非对称的稀疏性，即容许剪枝零一比特，进而确保任何比特向量具备 50\% 的稀疏性。文中还提出了相应的二值剪枝策略，不需要重新训练即可用于量化后的 DNN，在硬件加速器设计中利用该二值剪枝策略实现了低开销的比特级加速。
\item \textbf{主要贡献}：BBS 通过二值剪枝，模型在精度损失小于 0.5\% 的情况下实现了 1.66 倍的模型压缩，且相较先前的 DNN 加速器取得了 3.03 倍速度提升，节省了 2.44 倍的能耗。
\item \textbf{不足与未来方向}：本文讨论了 BBS 二值剪枝实现模型压缩的可能性，但并没有讨论实现二值剪枝需要对现有硬件架构做出的改动。因此，要使 BBS 二值剪枝技术得以推广，还需要探索如何对现有硬件架构进行改进以适应这种新技术。
\end{itemize}
